10/526090 

BT01 Rec*d PCT/PTC 2 4 FEB 2005 

DOCKET NO.: 15675P571 
IN THE UNITED STATES PATENT AND TRADEMARK OFFICE 



In re the Application of: 

Luigi Lanceri 
Application No.: 
Filed: 

u Fuzzy Associative System For the 
Description of Multimedia Objects 



Art Group: 
Examiner: 



Commissioner for Patents 

P.O, Box 1450 

Alexandria, VA 22313-1450 



REQUEST FOR PRIORITY 



Sir: 

Applicant respectfully requests a 
application, namely: 

COUNTRY 



convention priority for the above-captioned 



APPLICATION 
NUMBER 



France 



0210776 



J)ATEJ3FJTLJNG_ 
30 August 2002 



□ A certified copy 



of the document is being submitted herewith. 



Dated: 

12400 Wilshire Boulevard, 7th Floor 
Los Angeles, CA 90025 
Telephone: (310)207-3800 



Respectfully submitted, 

Blakely, Spkploff, Taylor & Zafman LLP 



Eric S. 




30,139 



1 




INPI 

MMMBi INSTITUT 



" f ' 'R*^CT/PTO 24 FEB 2005 
PCWRO 3 /0 2 58 8 



I INSTITUT 




BREVET D' INVENTION 



CERTIFICAT D'UTILITE - CERTIFICAT D'ADDITION 

COPIE OFFICIELLE 

Le Directeur general de I'lnstitut national de la propriete 
industrielle certifie que le document ci-annexe est la cople 
certifiee conforme d'une demande de titre de propriete 
industrielle deposee a I'lnstitut. 



Fait a Paris, le 



MiEEL2flfll 



Pour le Directeur general de I'lnstitut 
national de la propriete industrielle 
Le Chef du Departement des brevets 



DOCUMENT DE PRIORITE 




Marline PLANCHE 



PRESENTE OU TRANSMIS 
CONFORMEMENT A LA 
REGLE17.1.a)OUb) 




TilSphone : 33 (0)1 53 04 53 04 
Tiltople : 33 (0)1 53 04 45 23 
www.lnpl.fr 



26 bis, rue do Saint Petorshourg 
75800 PARIS codex OS 




LA PROPRIETE 
INDUSTRIELLE 



* Best Available Copy 



26 bis. rue de Saint Petersbourg 

r«ShOM?£ (« 53 04 53 04 Telecopie : 33 (1) 42 94 86 54 



REMISE OES PIECES 



BREVET D'lNVElNlTIO&I 
CEHT1F8CAT D'UTiuA 

Code de la propriete intellectuelle - l^^l 

REQUETE EN DtUVRANCE 
page 1/2 

Cet imprint est a remplir lisibtement a I'encre noire ob mow/ oiosoi 

m NON1 ET ADRESSE DU DEMANDEUR OU DU MANDATAIRE 



111 



im 30 AOUT 2002 

r«— a* 1 " PARIS 

NATIONAL ATTRIBUE PAR UINPI OS 1 OTT© 



A QUI LA CORRESPONDANCE DOIT ETRE ADRESSEE 



Cabinet REGIMBEAU 
20, rue de Chazelles 
75847 PARIS CEDEX 17 
FRANCE 




Demande divisionnaire 

Demands de brevet initiate 
ou demande de ceriljfcal d'uMM initiak 
Transformation d'une demande de 
brevet europeen Demande de brevet initiate 



Date Li— L— Li— i 1 

Date Li—Li_l— L-l—i— 1 



■ ■Im:1 



1 T1TRE DE L'lSiVEWTIOK (200 caracteres ou 



SYSTEME ASSOCIATIF FLOU DE DESCRIPTION D'OBJETS MULTIMEDIA 



Q DECLARATION de priorite 
OU REQUETE DU BENEFICE DE 
LA DATE DE DEPOT D'UKE 
DEMAMDE ANTERIEURE FRAI^QAISE 



HI mmwmP; (Oechcs f'nne d»s ? < 



Nom 

ou denomination sociale 

Prenoms 

Forme juridique 

N° SIREN 

Code APE-NAF 



Domicile 



Code postal et ville 



Pays 
Nationaiite "" 
N° de telephone (jacullalif) 
Adresse electronique (Jacullalif) 



Pays ou organisation 
Date 1 ■ I ; 1 I i 



Pays ou organisation 
Date 1-1 I i 



Pays ou organisation 
Date 11 Li 



□ S'ii y a d'autr es priorites, cochez la case et utilisez I'imprime «Suite» 
^ Personne morale □ Personne physique 



FRANCE TELECOM 



SOCIETE ANONYME 



6, place d'Alleray 75015 PARIS 



1 I I ! I L 
FRANCE .. 
Francaise . 



N° de telecopie (Jacullatifi 
gjj v a plus d'un demandeury cochez la case etutjlisez nmprime «Suite» 



RejrjBiirjJ 



Trthmment la 2^ page 




(CEOTF1CAT D'HTIU^ 

REOyETE EN DfeUVRANCE 

" v "i 2/2 



REMISE DES PIECES 

Zl 30 AOUT 2002 
75 1NPI F WIS 

N» DENREGISTREMENT 
NATIONAL ATTR1SUE PAR L'lNPI 



021077© 



Vos r5f6rences pour ce dossier : 
f/ftcuMiJ ) 240005 LJ 

Nom 
Prenom 

Cabinet ou Societe 

N °de pouvoir permanent et/ou 
de lien contractuei 



'■■V' : '- : 



Code postal et ville 



Adresse 

Pays 

N° de telephone tfacuitatij) 
N° de telecopie (Jhcuitatif) 
Ad resse electronique (f/uttltalifi 



Cabinet REGIMBEAU ..... 



20, rue de Chazelles 



01 44 29 35 00 
0144 29 35 99 
irrfo@regimbeau.fr 



□ Qui 



Dar^cej^^ 



Etablissement immediat 
ou etablissement differe 



Paiement echelonne de la redevance 

leiideftxmsemenls) 



Q REDUCTION DU TAUK 
" DES REDEVAMCES 



□ Oui 

□ Non 



Uniauentenl pour les personnes physiquas 

C TZL pour .a premiere fois pour cette invention u^n*******^* 
□ Obtenue anterieurement a ce depot pour cette invention 0Wi*r w « copie <ie la 
decision d-admission i resistance Rmtuite ou wdiquersa reference) 




:srj^2==^^==s« 



1 



L'invention concerne la caracterisation d'objets multimedia, et en 
5 particulier les techniques pour reduire les ambiguTtes de la reconnaissance 
d'objets multimedia. 

L'invention concerne ainsi, notamment, la description du contenu des 
fichiers multimedia associes aux objets. 

L'objectif de {'invention est notamment de proposer un precede 
10 permettant de decrire et de comparer des objets dans un contexte 
d'incertitude. 

Pratiquement, l'invention vise par exemple a decrire et comparer des 
fichiers image, musicaux, video ou d'autres formes. 

Elle permet de repondre aux questions du type : je souhaite trouver 

15 des morceaux de musiques correspondant a « mes gouts ». Une telle 
operation pose deux problemes. Le premier est de modeliser des notions 
comme « mes gouts » qui sont tres subjectives. De nombreux travaux ont 
deja traite ce probleme dans le cas ou I'objet beneficie d'un contexte 
textuel. Nous nous interessons notamment ici aux objets isoles sans 

20 contexte textuel. C'est la deuxieme difficulte que nous proposons de 
resoudre, a savoir extraire d'un objet isole des caracteristiques qui 
permettront de le decrire et de le soumettre a la comparaison, l'objectif 
etant d'en obtenir une caracterisation semantique (e.g. sous forme de mots 
cles) en termes de probabilite. 

25 Ces objectifs sont atteints dans le cadre de l'invention, grace a un 

procede de description automatique d'un objet multimedia inconnu, dans 
lequel on associe I'objet inconnu avec plusieurs types d'objets multimedia 
de reference selon a chaque fois une probabilite d'appartenance respective 
a chaque type considere, le procede incluant une etape consistant a 

30 mesurer au moins une caracteristique physique sur I'objet inconnu et a la 
comparer avec des mesures de caracteristiques representant au mieux les 
types de reference, le procede comprenant en outre 1'etape consistant a 
utiliser pour chaque type au moins une relation probabiliste donnant une 
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probable d'appartenance a, type contra en foncfion 

Iparalson aes earaches d a ^ * e, , = 

o„t outre l'etape consistant a utiliser les piuu* 
r P ::lI^I — .Pes ains, obtenues an — - 
une sarie da relations d'affinttes entre types, de mamere a elre des 
a Inances q ui sent a - fois madras en p— etgu.se - 
oesignent par «eur re,ation d'afflntte, et da mamere a exciure 

1 league pbysigue sur rob*, — et J. comparer avec de 
mesures representant au mieux les types de reference, le d spo s,t,f 
"nanf en outre des moyens utilisant pour chague type au mo.ns une 
Z probable donnant una probability d'appartenance au type 
co d^rlen fonction du resultat de ,a comparaison des caractensfi.ues de 
o " oonnu et du type, le dispose comprenan. en outre des moyens 
20 lour »er ,es probabil.es d'appartenance aux differents types 

obL f en combiner, avec une serie de relations d'affimtes entre 
' ;"e maniere a .lire des appartenances gui sent a ,a fcismapr^r 
en probable et q ui se co-designent par .eur relafion d» - t £ 
m aniere » exolure des appartanances ayant une momdre affinrte avec 

25 ^autres earaches, buts et avantages de I— on 
apparent a ,a lecture de ,a desedption detail gui va su,vre, fa,te en 
reprice aux fiqures annexees sur lesquelles . 

"es figures 1a et 1b represents set— des mo 
30 dissociation, le premier mode dans un plan dit « de types », le second 
mnde en tant que mode a apprentissage, 

!"a figure 2 est un synoptic representant diff^rentes etapes m.ses 
en ceuvre dans une variante preferee de I'invention, 
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- la figure 3 est un trace representant un niveau de probability 
d'appartenance en fonction du niveau de ponderation d'une caracteristique 
physique donnee, 

- la figure 4 est un trace representant une approximation du trace 

5 precedent, 

- la figure 5 est un trace representant une probabilite d'appartenance 
en fonction d'une erreur mesuree sur des variables d'entree, 

- la figure 6 est un trace du meme type pour une erreur sur la 
variable de sortie, 

10 - la figure 7 et la figure 8 sont chacune un trace representant une 

probabilite d'appartenance en fonction d'une erreur sur une caracteristique 
respective en entree (etape 4 de la figure 2), 

- la figure 9 est un trace representant une probabilite d'appartenance 
en fonction d'une moyenne d'erreurs mesurees sur deux caracteristiques. 

15 La methode employee, est d'une grande adaptabilite. Trois aspects , 

sont developpes chapres, qui sont les reseaux associatifs (liens 
semantiques entre objets de references), la logique floue (gestion de 
I'incertitude) et une etape appelee ici « inference correlative » (limiter 
I'ambigu'ite par croisement d'informations). 
20 Contrairement a I'approche courante qui se place tres en amont et 

cherche plutot a optimiser la precision de la moderation de l'image, plus 
generalement de I'objet, on se situe plus haut dans les couches. On prend 
le modele de l'image (du son, etc.) brut meme s'il est de mauvaise qualite 
et on cherche a reduire 1'ambiguTte de ('interpretation grace a des methodes 
25 de gestion de I'incertitude (recoupement, logique floue). 

L'operation de description est preferentiellement realisee en 
comparant des objets inconnus a des objets de caracteristiques connues et 
par croisement et aboutit a un vecteur de caracteristique associe a une 
probabilite d'appartenance. Ce vecteur traduit la relation entre des 
30 proprietes physiques ou logiques et des proprietes conceptuelles (voir fig. 
1a, 1b). 

La methode decrite ci-apres vise la caracterisation dans un contexte 
d'incertitude et s'applique a des objets quelle que soit leur nature 



(analogique, numerique, symbol.que, etc.). Ceci etant dit. pour des ra,sons 
e Cad, nous restrains ,es exp..ca«ons qUi suivent aux r,ch,ers de type 
mu ,tim M ia (e.g. m P 3, mpeg. wav, ipg , etc). Ces ob*ts P-^T 
exemple decrits par certainas des propriety phys.ques des ob.ets 
5 analogies sous iacents (frequences, duree, formes typlques. e o . Pa 
ailleurs ces memos objets peuvent etre decrits dans ,e reg.stre conceptue, 
' un typologie adequate (musique pop, jazz, film d'aCon, photo de 
ur ou un type prefere sans qui. so. reference prec.serr.nt (eg un 
m tan e de jazz et de classique personnalise, Un premier object, es. de 
10 US - ceuvre une correspondence associative entre ie doma,ne 
nhvsique et le domaine conceptuel. 

Les figures 1a et 1b presented deux modes d'assocabon, Le 
premier (figure 1a) dans ,e pian des types est una associabon conceptu* 
classique (par exemple entre des themes du lexique mterconnectes par des 
15 I n ponderees en fonction de ieurs proximites sementique, Le second 
e 1b) est obtenu par apprentissage entre les types e .es 
laracterist, ues de references. Ce type darchtecture perme par 
Torment didentifier des relations conceptueiles antra caractensbques 

^riTeHes types peuvent etre des mots, ies cara«es 
npuvent etre des formes dans !e cas d'images. 

P cboix des caracterisbques est a realiser preference,— une 

fois pour toute pour un ensembie de types donnes mais requ.rb une 
expertise. Par exempie un musicien et un electrons seront a meme 
ntiber ,es grandeurs representatives de la typologie mus.cale £ 
exemple la frequence moyenne des 10 premieres secondes d un morceau 
e m ique permet identifier une musique dambiance dun morceau de 
h ard rock). Dans les exemp.es qui su^ent nous n'utillserons que des 
caracteristiques simplifies pour decrire notre methode. 
30 void un premier exemple correspondent, au cas de documents 

sonores, permettant de comprendre le principe. 
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Pour savoir si un fichier musical contient un moroeau de flute ou de 
cor (2 types conceptuels simples) il taut pouvoir acceder au signal sonore 
code dans le fichier (e.g. wav, mp3). 

Ceci est realise par des algorithmes de decodage classiques. Le 
5 signal sera analyse avec des outils de traitement du signal adequate qui 
pourront determiner sa frequence (caracteristique physique simplifiee pour 
I'exemple). Si on considere des fichiers de reference (plusieurs fichiers du 
type cor, plusieurs fichiers du type flute), on pourra determiner leurs 
frequence moyenne dans le cas du cor et dans le cas de la flute. On pourra 
10 constater que la frequence A + del,a f est celle de la flute et la frequence B+ 
delta f celle du cor. Ces frequences ainsi que les types associes seront le 
modele de reference obtenu par une etude statistique sur un echanfillon . 
represented En calculant la frequence fi dun certain nombre de fich.ers j 
contenant des sons d'instruments inconnus, on pourra determiner leur , 
15 appartenance a la categorie flute ou cor en fonction de la proximite (s, fi-A < ,. 
seuil alors i proche de flute). II est egalement envisage que I'ensemble des , 
fichiers de reference de type «cor» puisse contenir des fichiers ne , 
contenant pas du cor. La frequence moyenne contient alors , 
intrinsequement une marge tferreur et sa proximite avec la frequence d un 
20 fichier a analyser est ana,ys6e de maniere probable, egalement pour ten.r 
compte du fait que le calcul de la moyenne est en fait le calcul dune 
moyenne probable (esperance mathematique). 

Cat exemple est tres simplifie car un fichier sonore (tf est encore plus 
complique pour les fichiers video) est le plus souvent une agregaflon 
25 complexede frequences differentes dans le temps et dans respace. 

Pour resoudre ce probleme de complexite, on idenfifie 
preferentiellement un certain nombre de caracteristiques frequentielles 
spatiales et temporelles (fixes et evolutives) qui seront a meme de decnre 
en thSorie n'importe quel signal. Voici un autre exemple plus precis d'une 
30 definition de telles caracteristiques. L'analyse spectrale du signal sur toute 
sa duree permet de recuperer le taux de frequence hautes et basses. Nous 
ne considers que 10 plages de frequences (f1 4 f10) reparties sur le 
spectre audible (20 Hz a 20 KHz) par exemple dfl=20 Hz-500 Hz, 



lei uepui 



6 



10 



df2=500Hz-2 KHz, df3=2kHz-5KHz etc. Dans la pratique le decoupage 
frequentiel tiendra compte de la frequence fondamentale des principaux 
instruments. Cette analyse peut etre realisee a differentes periodes du 
signal. Par exemple, nous calculons la distribution frequentielle sur des 
espaces de dix secondes espaces toute les trente secondes sur un signal 
d'une duree de trois minutes. Les six ensembles de dix plages 
frequencies (que nous appellerons echantillons) seront considers 
comme les caracteristiques physiques d'un signal du morceau de musique. 
Si comme dans I'exemple precedent on connaTt un morceau de musique de 
reference « qui nous plait » (sans forcement bien savoir le decrire sur le 
plan conceptuel - c'est peut etre du jazz ou du blues, etc-). On peut 
calculer l'echantillon de reference et par la suite on peut appiiquer a tout 
morceau de musique le caicul de l'echantillon que I'on comparera a 
l'echantillon de reference). En fonction de la proximite physique, on pourra 
deduire la proximite conceptuelle vis a vis de ce type « qui nous plait ». 
Autrement dit, plus les caracteristiques spatiales, frequencies et 
temporelles du signal a classer et celles du signal de reference seront 
proches, plus on sera certain que le morceau a classer est un morceau de 
ce type « qui nous plaTt ». 

Dans le cas ou on a defini plusieurs types de morceaux qui nous 
plaisent, on calcule la proximite des caracteristiques du morceau inconnu 
vis a vis des caracteristiques de chacun de ces types. 

On obtient alors une serie de probabilites d'appartenance du 
morceau inconnu pour chacun de ces types. Les types de morceaux qui 
25 nous plaisent ont eux-memes des compatibles ou affinites. Ainsi, certains 
de ces types sont des types musicalement proches en termes de 
perception, tels que par exemple un type « rock » ou un type « hard-rock ». 

D'autres types sont incompatibles tels qu'un type « musique de 
chambre » et un type « musique electronique ». 
30 On utilise ce reseau d'affinites de perception de I'oreilie entre les 

differents types, ainsi que les probabilites d'appartenance aux differents 
types, pour deduire une appartenance a une categorie plus large 
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regroupant une partie seulement de ces types qui nous plaisent. On choisrt 
ici d'appeler cette etape une « inference correlative ». 

Cette. appartenance a une categorie plus large finalise la description 
automatisee de 1'objet multimedia au depart inconnu. 

En d'autres termes, on utilise les probability d'appartenance aux 
differents types ainsi obtenues en combinaison avec une serie de relations 
d'affinites entre types, aff.nites representatives de la perception humaine, 
de maniere a elire des appartenances qui sont a la fois majorities en 
probabilite et qui se co-designent par leur relation d'affinite, et de maniere a 
exclure des appartenances ayant une moindre affinite avec les types elus. 

Les elections et exclusions dont on parle se concretised dans le cas 
present par le fait d'identifier une partie seulement (une « categorie » ici) . 
des types qui nous plaisent. 

De meme, si Ton utilise plusieurs morceaux de references « qui nous , 
15 plaisent » pour calculer les caracteristiques moyennes, on realise un 
apprentissage des caracteristiques de references. Ces caracteristiques de , 
reference sont une moyenne pouvant integrer des morceaux donnes par , 
erreur et done cette moyenne est une reference « la plus probable », et la ; 
proximite d'un morceau considere vis a vis de ces caracteristiques, est 
20 utilisee pour donner une « probabilite » que ce morceau nous plaise. Plus le 
morceau est proche de la reference statistique, plus la probabilite qu'il nous 
plaise est grande. La meilleure probabilite qu'il nous plaise correspond a 
une totale similitude entre caracteristiques du morceau considere et 
moyenne statistique des caracteristiques de morceaux de reference. 
25 Dans le.cas de documents visuels (image et video), la caracterisation 

des documents visuels est preferentiellement basee sur le meme principe 
que celui des documents sonores. II s'agit de mesurer la proximite avec 
d'autres objets selon des caracteristiques simples. Une image est analysee 
pour identifier par une recherche de contours les formes complexes isolees 
30 ainsi que leurs caracteristiques chromatiques (moyenne, ecart type sur la 
forme). Ces operations sont classiques dans Tart du traitement d'images. 

Comme decrit precedemment, on associe un ensemble de types 
conceptuels a un ensemble de caracteristiques physiques. Ces types 
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concepts sent par exemple: maison, animal, fleur, etc Les 
caraoteristiques physiques correspondent aux formes simples et a leurs 
descriptions chromatiques. 

L'etape suivante consiste a rechercher les proximites entre des 
formes inconnues et des formes « statistiquement » connues (voir pius lorn) 
ou une moyenne formant one « meilleure probability » qu'une image nous 
plaise lei, les types conceptuels sent ceux inherents aux images fixes (on 

adapte cet ensemble dans le cas des videos: action, sport.eto 

information de type dynamique). Comme dans le cas de donates sonores, 
,a video est consideree comme un echantillonnage de plusieurs .mages 
etant traite isolement puis contribuant a une cauterisation statistique du 

On prend ici en cempte une incertitude et une ambigufte des 
analyses, Les etres vivants prennent leurs decisions dans un contexte 
15 d'incertitude, en terme de probabilite. Memo des decisions qui peuvent 
nous apparaitre comme evidentes, repondent a ce prmcpe. 

Lorsque nous apercevons une personne au loin, notre cerveau 
mobilise ses fonotions cognitives pour comparer ce que nous percevons a 
un ensemble de caraoteristiques de base que nous avons memonse dans 
20 le passe. Ces operations nous amenent a tirer la conclusion que la 
personne en question est probablement un ami. Lorsque nous voyons cette 
personne de plus pros, son identite nous apparatt comme ev,dente 
pourtant, les memes mecanismes que precedemment nous ont amene a 
une r^ponse tout aussi probabiliste. La difference, e'est que dans le second 
25 cas la probabilite est beaucoup plus importante. 

On va decrire maintenant deux mecanismes utilises dans 1 exemple 
preftre de realisation de Hnvention. 

Le premier est le traitement et la composition (le calcul) de 
premisses approximates (peut etre que, il y a des chances, etc.) La 
30 ogique floue donne un certain nombre d'outils permettant de calculer avec 
des element, incertains. Lautre mecanisme est base sur le cro.sement 
deformation. Par exempie, si .'analyse d'une Image revele une forme 
proche a 75% d'un camion, a 75% dune maison, a 60% d'un bus et a 107. 
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d'un chalet, on considerera que la forme est un vehicule car 
semantiquement la categorie vehicule (camion et bus) est plus « co- 
designee » que la categorie habitation (chalet et maison). C'est un exemple 
particulier de ce que Ton appelle ici Inference correlative. Ceci est possible 
car les types conceptuels possedent leur propre reseau dissociation 
correspondant aux caracteristiques linguistiques (arbre, fleur et vegetal sont 
associes mais de maniere differente). Au depart, la recherche des 
caracteristiques et le travail de rapprochement entre ces caracteristiques et 
les types conceptuels se fait sans tenir compte du niveau dissociation 
interne entre les types conceptuels. Cette association sera utilisee pour 
lever certaines ambiguTtes sur les associations physiques/conceptuels. 

La encore, les recoupements semantiques refietent des affinites 
entre les differents types, affinites qui sont prises en consideration en , 
commun avec les probability d'appartenance a chacun de ces types, et 
15 . permettent d'etablir I'appartenance ou non a une categorie. -.. 

En d'autres termes, pour identifier dans cet exemple une categorie : 
generate d'appartenance, on utilise les probability d'appartenance aux - 
differents types ainsi obtenues en combinaison avec une serie de relations 
d'affinites entre types, affinites representatives de la perception humaine, .. 
de maniere a elire des appartenances qui sont a la fois majorities en 
probability et qui se co-designent par leur relation d'affinite, et de maniere a 
exclure des appartenances ayant une moindre affinite avec les types elus. 

Pour I'etablissement des relations d'affinites utilisees dans cette 
deuxieme etape ici appelee « etape deference correlative », on met ici en 
25 oeuvre un traitement preliminaire d'une multitude de textes, dans lequel on 
releve les occurrences particulierement frequentes de deux termes a 
chaque fois en position de proximite dans ces textes. Ainsi, la relation 
semantique entre « maison » et « chalet » est identifiee simplement par la 
presence frequente de ces deux termes proches I'un de I'autre dans une 
30 serie de textes. 

A contrario, le fait que les termes « camion » et « chalet » ne soient 
pratiquement jamais presents et proches I'un de I'autre, permet d'identifier 
qu'aucun lien de proximite semantique (affinite) n'existe entre ces mots. 
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existence dune affinite est par example dacalaa an fonction , du 

mots predefmis). permet 
Un tel traitement prealable d'une sene de textes p 

===:^-— 



30 

relation Rij est a 0.6 



11 



Pour plus de clarte, nous allons dormer maintenant un exemple 
duplication d'une prise de decision a partir d'une approche floue. La 
reconnaissance de contenu d'image est ici I'exemple d'application. 

L'objectif est d'implementer dans un reseau associatif des relations 
5 entre des formes et un type par exemple le type voiture. Nous nous limitons 
dans ie cadre de cet exemple mais dans la pratique on peut prendre plus 
de caracteristiques que la forme et plus de type que le simple type voiture. 

Sur la figure 2, l'etape A correspond a une identification manuelle 
des caracteristiques de references (e.g. formes, spectre moyen sur les 1 0 
10 premieres secondes d'un morceau de musique) et des types pertinents 
(travail d'expert). 

L'etape B est une recuperation automatique (moteur de recherche et 
aspirateur Web-Internet) d'objets (par exemple image de voiture) 
statistiquement pertinents decrivant un type donne (idem pour tous les 
15 types definis) a partir de mots cles (voiture, automobile, etc). 

L'etape C est une etape d'analyse du contenu des objets de 
references : mesure des caracteristiques de reference, analyse et 
segmentation des resultats (groupes). On utilise une technique de 
categorisation classique pour I'identification des groupes. 
20 Ces trois etapes sont realisees pour plusieurs types de references 

relies par un reseau associatif. Cette approche permettra dans une etape 
ulterieure (Etape H), par recoupement, de regler certaines ambigu'ftes. 

L'etape D correspond a une fuzzification, c'est-a-dire une 
identification des variables d'entree (les caracteristiques) et de sortie (les 
25 types), des fonctions et limites d'appartenance, les informations issues des 
etapes precedentes permettant d'automatiser cette etape. 

L'etape E correspond a une etape de definition des regies 
d'inferences. Ces regies sont generiques et correspondent a une 
composition homogene de fonctions AND/OR liant les entrees aux sorties. 
30 L'etape F est une etape de mesure des caracteristiques sur I'objet 

inconnu. 

L'etape G est une etape de defuzzification : evaluation du niveau des 
variables de sortie. Cette etape presentee ici au sens global correspond a 
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,a defuzzificafion da cbacune des sorties. Le result se presente sous ,a 
form edune probable d'appartenancederobjet.connua 

L'etape H est une etape de croisement des resultats a la.de d un 
reseau associate pour limiter ,'ambiguite (e.g. si I'objet est 50% un arbre, 
5 soTune voiture et 50% un camion alors ce .est carta— pas un 

a * re) ' On va decrire maintenant, de maniere plus detaiHee, oe synoptigue 
de ,a f,gure 2, dans une premiere etape de definition de references (etapes 
A a C sur ia figure 2), on recupere un nombre important images contena 
M des voitures et on identifie ies contours des formes a ,'aide d'ouflis ,og^ 
lidues. Ces formes sent normals (ramenees a des proporb 
identigues) et comparees (repere cartesien) de man.ere a ,denfi fer des 
groupes bomogenes (contour superpcsabie avec 

chacun de ces groupes on identifie la forme moyenne, drte de reference . 
15 quTpeut etre une image guelcongue du groupe, puisgue ia segment on 
Ipe C - assure gue .es membres dun groupe ont une forte s,m, tude) et 
Sombre de candidats par groupe. On pose gue ,es formes .deuces 
regroupant ie plus de candidats decrivent le mieux de type de reference 
ZZ) On identifie ,e nombre optima, de groupes avec des techniques 
20 I ig es de catering. Par example, on optimise le rapport entre erreur 
doyenne intra groupes et inter groupes. L.lgoritbme de Custenng est 
alimente par la matrice des erreurs forme S forme. 

On suppose pour la suite de ,'exemp.e gue ,e nombre de groupes 
idea, est deux On dispose done de deux formes moyennes dont cbacune 
* Tel a one probability de similitude fonction du % de forme dans ,e 
groupe par rapport an nombre total de formes. 
9 contrairement a ,a logique binaire (une propos,t,on 
fausse) la logique floue prend en cempte le caractere « poss.ble >> d une 
pZL en 9 asseciant un certain niveau de vraisemb, ance. En p., , dun 
30 concept, la logique floue introduit des metbodes et une algebra adaptee 
permettant de manipuler des grandeurs floues (a P prox,mat,ves). 
" La premiere etape (etape D sur la figure 2) dite de d-ntificaton 
fl oue (ou « fuzzification ») consiste a modeliser cbague entree du systeme 
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par des courbes dormant le degre d'appartenance aux differents etats du 
systeme possiblement associe a ces entrees. Dans notre cas, les entrees 
sont les caracteristiques physiques et les etats sont les types (ou 
associations de types) conceptuels. Le systeme etant ie reseau 
□"association (ponderation normalises) existant entre les entrees et les 
sorties (voir figure 1a). 

Ainsi, chaque entree, en fonction de son niveau de ponderation sera 
representee sur une courbe de type sigmoTde (figure 3 ou approxime figure 
■4) qui explicitera son niveau d'appartenance a un type donne. 

Soit par exemple un reseau (figure 1) ou le niveau de ponderation 
maximal (normalise) est de 100. Une caracteristique physique qui sera 
reliee a un type conceptuel avec une ponderation de 10 sera consideree, 
comme la decrivant peu probablement. Au contraire, une ponderation de 80 : 
sera consideree comme une description tres pertinente. 
15 Dans la figure 4, les valeurs min et max obtenues par analyse 

statistique, fournissent ies seuils au-dela desquels la caracteristique est. 
consideree ne plus decrire du tout de type (min) ou tres bien le decrire . 
(max). 

La fonction d'appartenance representee figure 5 etablit le niveau 
20 d'appartenance a chaque sous-ensemble flou en fonction du niveau de 
I'erreur entre les formes de reference (les deux formes moyennes) et les 
formes contenues dans I'image a analyser. 

Sur la figure 5, le symbole « - » represents une appartenance peu 
probable. Le symbole « = » represents une appartenance possible. Le 
25 symbole « + » represente une appartenance tres probable. 

Sim min et Sim max designent respectivement la similitude minimale et 
maximale calculees forme a forme dans chaque groupe lors de 
I'apprentissage. Sim max est la similitude entre les deux formes les plus 
semblables et Sim min la similitude entre les deux formes les plus differentes 
30 au sein d'un groupe donne. 

D'une maniere similaire, on definit la fonction d'appartenance pour la 

variable de sortie (figure 6). 
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Les valeurs Sim min et Sim max decrivent ici I'incertitude minimale et 
maximale pour la prise de decision. On dira qu'au dessous de Sim min la 
forme n'appartient pas au type, et qu'au dessus de Sim max , elle appartient 
au type et qu'entre ces deux valeurs elle appartient au type avec un certain 
5 niveau de probability. Par exemple, je peux considerer qu'en dessous de 
20% de certitude la personne que je vois au loin n'est pas la personne que 
j'imagine, alors qu'au-dessus de 75%, j'estime que c'est la personne en 
question. 

Les regies d'inference (etapes E et F sur la figure 2 : definition des 
10 regies d'inference et mesure), impliquent une suite d'operations logiques et 
des conditions liant les entrees et la sortie que Ton peut adapter plus ou 
moins finement selon les cas a traiter. Le tableau suivant indique les modes 
de composition liant les deux groupes pour prendre la decision 
d'appartenance ou pas au type de reference. II faut rappeler ici que les 
15 deux groupes, obtenus par segmentation (etape C) sont des groupes 
dissimilaires. Une appartenance aux deux groupes ne permet done pas de 
lever I'ambigu'ite concernant I'appartenance au type. C'est pour cette raison 
que I'on affecte un - dans le tableau lorsque E1 et E2 sont a +. 

Les regies d'inference entre les entrees (le niveau d'appartenance 
20 au groupe 1 ou 2) et la sortie (niveau de certitude qu'il s'agit d'une voiture) 
sont les suivantes. Les deux entrees etant reliees a la sortie par une 
fonction OR (c'est a dire le maximum des deux valeurs en logique floue) 
dans le cas des faibles probabilites et de la fonction AND pour les fortes. 



E1/E2 






+ 
















+ 


+ 




+ 





Table 1 : inferences liant les entrees a la sortie 
Ce tableau s'interprete comme suit : 

Si (E1+ et E2+) ou (E1- et E2-) ou (E1- et E2=) ou (E1= et E2-) alors 

S- 
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(Si la ressemblance a la forme 1 et a la forme 2 est faible ou que la 
ressemblance est faible a la forme 1 et mediocre a la forme 2 ou que la 
ressemblance est mediocre a la forme 1 et faible a la forme 2 alors la forme 
inconnue est peu probablement une voiture. 
5 Si (E1 = et E2=) ou (E1+ et E2-) ou (E1- et E2+) alors S= 

SI (E1+ et E2=) ou (E1= et E2+) alors S+ 

On donne ici maintenant un exemple d'algorithme de composition 
des regies d'inferences pour un nombre de groupes quelconques. 

Chaque caracteristique peut prendre trois etats (+, =) soit, pour n 
10 caracteristiques, 3" combinaisons possibles. 

Dans cette etape, on initialise les valeurs S+ ; S- ; et S = a 0. 
Pour chacune des 3 n combinaisons : 

- on identifie le signe et la valeur des elements de la combinaison ; 

- on calcule Min comme etant le minimum de tous les elements de la : 
15 combinaison. 

- dans chaque combinaison, on compte le nombre + et le nombre -. 
Les resultats sont alors exploites de la maniere suivante : 

- si le nombre d'elements « + » est inferieur a 30% du nombre 
d'elements de la combinaison et au moins egal a 1 element (on prend la 

20 valeur entiere la plus proche des 30% (ex : si 0,7 alors on prend 1 ), alors, si 
Min est superieur a la valeur S+, la valeur S+ est definie comme etant egale 
a Min ; 

- si le nombre d'elements est superieur a 70 %, alors, si Min est 
superieur a la valeur S =, la valeur de S = est definie comme etant egale a 

25 min ; 

- si le nombre d'elements est compris entre 30 et 70%, alors, si Min 
est superieur a la valeur S =, la valeur S = est definie comme etant egale a 
Min) 

La sortie de ce systeme (etapes G et H : defuzzification et 
30 croisement) est de la forme : I'objet correspond (par exemple) a 80% au 
type T1 , a 65% au type T2, etc. Dans notre exemple, nous nous sommes 
limites a un seul type T1=voiture. 
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La defuzzification consiste a evaluer la grandeur de sortie (ici la 
probability d'appartenance a un type donne). Ceci est realise en projetant 
I'etat des variables d'entrees sur les variables de sortie au travers des 
regies d'inference. Pratiquement, on reduit (decapite) les fonctions 
d'appartenance des variables de sortie suivant les resultats fournis par les 
operations logiques (floues) dictees par les regies deferences. Le 

paragraphe suivant donne un exemple illustre de cette operation. 

On donne maintenant un exemple d' application. On considere 

qu'apres la phase d'apprentissage, chaque groupe a les caracteristiques 

suivantes (figures 7 et 8) : 



Similitude /groupe 


1 


2 


Similitude -min % 


18 


25 


Similitude -max % 


58 


62 



On considere qu'une image possede une forme qui apres 
comparaison avec les deux formes de references a les erreurs suivantes : 
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20 



25 



Similitude /groupe 


1 


2 J 


Sim 


20 


45 



Si (E1 + et E2+) ou (E1- et E2-) ou (E1- et E2=) ou (E1= et E2-) alors S- 
S-= Max [Min (0, 0.25), Min(0.85,0), Min(0.85,0.7), Min(0.3,0] = 0.7 
Si (E1= et E2=) ou (E1+ et E2-) ou (E1- et E2+) alors S= 
S==Max[Min(0.3,0.25), Min(O.O), Min(0.85,0.25)]=0.25 
Si (E1+ et E2+) (E1+ et E2=) ou (E1= et E2+) alors S+ 
S+=Max [Min(0,0.7), Min(0.3, 0.25)]=0.25 

Le resultat 48 correspond au centre de gravite des trois ensembles 

(-, +) =) de la sortie reduit respectivement a 0.7,0.25,0.25. (surface 

hachuree, figure 9) 

La reponse est done: « e'est une voiture a 48% ». Puisque dans 

notre exemple, nous nous sommes limites a un seul type, nous ne pouvons 

pas faire de croisements. 
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Dans la reaiite, on met en oeuvre en plus 1'etape consistant a utiliser 
les probability d'appartenance aux differents types ainsi obtenues en 
combinaison avec une serie de relations d'affinites entre types, affinites 
representatives de la perception humaine, de maniere a elire des 
appartenances qui sont a la fois majoritaires en probability et qui se co- 
designent par leur relation d'affinite, et de maniere a exclure des 
appartenances ayant une moindre affinite avec les types elus. 

Cette etape, en combinaison avec les etapes precedentes, permet 
de multiplier notablement la precision de I'analyse. Globalement, cette 
methode est interessante car elle offre une loi de composition pour des 
entrees floues ce qui est d'autant plus difficile a gerer qu'il y a de 
nombreuses entrees. 
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REVENP1CATIONS 

1. Procede de description automatique d'un objet multimedia 

5 inconnu, dans lequel on associe I'objet inconnu avec plusieurs types 
d'objets multimedia de reference selon a chaque fois une probabilite 
d'appartenance respective a chaque type considere (G), le procede incluant 
une etape consistant a mesurer au moins une caracteristique physique sur 
I'objet inconnu (F) et a la comparer avec des mesures de caracteristiques 

10 representant au mieux les types de reference, le procede comprenant en 
outre I'etape (H) consistant a utiliser pour chaque type au moins une 
relation probabiliste donnant une probabilite d'appartenance au type 
considere en fonction du resultat de la comparaison des caracteristiques de 
I'objet inconnu et du type, le procede comprenant en outre I'etape 

15 consistant a utiliser les probabilites d'appartenance aux differents types 
ainsi obtenues en combinaison avec une serie de relations d'affinites entre . 
types, de maniere a elire des appartenances qui sont a la fois majoritaires 
en probabilite et qui se co-designent par leur relation d'affinite, et de 
maniere a exclure des appartenances ayant une moindre affinite avec les 

20 types elus. 

2. Procede de description selon la revendication 1, caracterise en ce 
qu'il comporte I'etape preliminaire consistant a definir les caracteristiques 
de reference d'un type a partir d'un groupe d'objets multimedia senses 
representer ce type (B), en realisant une mesure d'une caracteristique 

25 physique sur I'ensemble de ce groupe, et en tirant de cette serie de 
mesures une ou des valeur(s) de reference pour cette caracteristique, 
valeur(s) de reference qui est(sont) ensuite utilisee(s) pour definir la relation 
de probabilite d'appartenance au type en tant que valeur a laquelle on 
compare une mesure sur un objet inconnu pour deduire la probabilite 

30 d'appartenance au type. 

3. Procede selon la revendication 2, caracterise en ce que !e groupe 
d'objets multimedia est fourni a I'aide d'une etape de recherche 



19 



10 



automatique dans un systeme d'information avec un aspirateur internet et 
un moteur de recherche internet. 

4. Procede selon I'une quelconque des revendications precedentes, 
caracterise en ce qu'il comporte I'etape preliminaire consistant a mesurer 
sur un ensemble d'objets descriptifs une frequence d'occurrence 
simultanee des types dans ces objets et en deduire ('existence d'une 
affinite entre au moins deux types lorsque ceuX-ci ont une occurrence 
simultanee particuliere. 

5. Procede de description selon l'une quelconque des revendications 
precedentes, caracterise en ce qu'il comporte I'etape consistant a effectuer 
une reconnaissance de forme sur I'objet multimedia inconnu (F), au moins 
une forme de reference a reconnaitre sur I'objet inconnu constituant une 
cara.cteristique physique appartenant a la definition d'un des types. 

6. Procede selon la revendication 5, caracterise en ce que la 
15 reconnaissance de forme comprend une mesure de similitude entre une 

forme prelevee sur I'objet et la forme de reference, et comprend egalement 
1'utilisation d'une relation predefinie qui donne une probabilite 
d'appartenance (G) au type en fonction de la mesure de similitude de forme 
effectuee. 

20 7. Procede selon Tune quelconque des revendications precedentes, 

caracterise en ce qu'au moins un type inclut plusieurs caracteristiques de 
reference (E1, E2), en ce qu'on realise au moins deux mesures sur I'objet 
inconnu pour etablir une mesure de proximite avec chacune des deux 
caracteristiques de reference, et en ce que I'on etablit la probabilite 
25 d'appartenance a ce type en utilisant au moins deux relations, chacune 
donnant une probabilite d'appartenance au type en fonction de ia proximite 
a une caracteristique differente, et en ce que les deux relations de 
probabilite sont utilisees pour etablir un resultat global de probabilite 
d'appartenance de I'objet au type considere. 
30 8. Procede selon la revendication precedente, caracterise en ce que 
les au moins deux relations de probabilite d'appartenance au type sont 
exploitees selon une technique combinatoire de logique floue pour fournir le 
resultat de probabilite d'appartenance de I'objet au type considere. 




9. Procede selon Tune quelconque des revendications precedentes, 
caracterise en ce qu'on met en oeuvre une technique de logique floue qui 
consiste en un mecanisme donnant un seul niveau de probabilite 
d'appartenance a un type de reference a partir d'une combinaison de 
5 probabilites de similitude aux differentes caracteristiques du type de 
reference. 

10. Dispositif de description automatique d'un objet multimedia 
inconnu, comprenant des moyens pour associer I'objet inconnu avec 
plusieurs types d'objets multimedia de reference selon a chaque fois une 
10 probabilite d'appartenance respective au type considere (G), le dispositif 
inciuant des moyens pour mesurer au moins une caracteristique physique 
sur I'objet inconnu (F) et la comparer avec des mesures representant au 
mieux les types de reference, le dispositif comprenant en outre des moyens 
utilisant pour chaque type au moins une relation probabiliste donnant une 
15 probabilite d'appartenance au type considere en fonction du resultat de la 
comparaison des caracteristiques de I'objet inconnu et du type, le dispositif 
comprenant en outre des moyens pour utiliser les probabilites 
d'appartenance aux differents types ainsi obtenues en combinaison avec 
une serie de relations d'affinites entre types, de maniere a elire (H) des 
20 appartenances qui sont a la fois majoritaires en probabilite et qui se co- 
designent par leur relation d'affmite, et de maniere a exclure des 
appartenances ayant une moindre affinite avec les types elus. 

11. Dispositif selon la revendication 10, caracterise en ce qu'il inclut 
des moyens de traitement pour exploiter plusieurs groupes d'objets 
25 multimedia de reference (B, C), chaque groupe representant au mieux son 
type correspondant, ces moyens de traitement etant en outre prevus pour 
realiser au moins une mesure d'une caracteristique physique sur 
I'ensemble d'un groupe considere, et en tirer une mesure de reference de 
cette caracteristique, cette mesure de reference etant ensuite utilisee dans 
30 la definition de la relation donnant une probabilite d'appartenance au type 
considere, en tant que mesure a laquelie le dispositif compare une mesure 
sur un objet inconnu pour deduire la probabilite d'appartenance au type 
considere (G). 
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12. Dispositif selon la revendication 10 ou la revendication 11, 
caracterise en ce qu'.l inclut des moyens pour mettre en ceuvre une etape 
preliminaire consistant a mesurer sur un ensemble d'objets descriptifs une 
frequence d'occurrence des types dans ces objets, et en deduire ('existence 
5 d'une affinite entre au moins deux types lorsque ceux-ci ont une occurrence 
simultanee particuliere. 
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